图｜Synthetic Intelligence
文｜Synthetic Intelligence
Georg Wilhelm Friedrich Hegel-德国哲学家人工智能的历史是符号学（又称计算主义或经典主义）与连接主义方法的跷跷板。（笔者注：当然最近几年又冒出来行为主义Behaviorism的路径approach，需要另文再叙）它的起点自然是连接主义（connectionism）的第一个神经元版本（并不完全正确）。在当时，用真实的导线连接一些计算元件，然后创建一个仿真模型，是一件非常简单的事情。△
“连接主义语料库(橙)与符号主义语料库中
被引用的论文数量之比变化情况-来自论文Neurons spike back”
然而，研究人员从一开始就勇敢或天真地瞄准了 AGI。尽管计算机和计算机科学的发展使得由一定数量的人工神经元组成的网络建模成为可能，但在符号层面模仿思维所产生的结果更接近实际问题，同时也更接近 AGI 梦想。因此，大部分的才智和资金都投向了这个方向。遗憾的是，由于现实模型原始，学习能力也很初级，尽管符号方法在商业和研究领域被广泛采用，但它还是达到了极限。人们发现，在模型中使用更原始的现实投影，但增加训练能力，而不是硬编码和添加规则，就有可能获得许多有用的见解和解决狭窄案例的方法，因此机器学习时代开始了。机器学习的成功也是它的诅咒：每一个狭窄的任务都需要特定的解决方案，因此机器学习的模型动物园使它成为统计学和计算机科学边缘的一个利基（niche）。然后，理论上存在已久的深度学习突然出现了。事实上，这是一件大事。也许最真实的项目仍然基于传统的 ML 模型，但最好的结果、最大的收益和最多的关注都在 DL 方面（笔者注：本文成文于2019年底，GPT系列已经到GPT-2，但让无数人大跌眼镜的ChatGPT发布于2022年11月30日）。我们现在就在这里。但 DL 技术的现状已经腐朽不堪。快速进步的时代已经变成了修修补补设置以获得下一个 0.1% 的精度，以及对我们的星球造成危害的蛮力能源消耗。我们已经接近了利用对现实的统计黑客方法（hacking）所能做到的极限。DL 模型缺乏常识、一些直观的物理知识和自我监督的持续学习，这一点甚至在 DL 主流的领导者看来也是显而易见的。更不用说，人类大脑 20-40 瓦的耗电量与 DL 超级计算机的兆瓦级耗电量相比，简直就是一种残酷的嘲弄。从根本上说，目前讨论的解决这一问题的唯一可行方案就是创造一种混合了 DL 和符号人工智能的技术，并加入一些额外的技巧。虽然还没有人能够做到这一点，但至少这样一个科学怪人看起来是可能的（忽略功耗问题）。（笔者注：以当前笔者研究这波AI范式的直觉来看，这里的符号人工智能无疑就是语言这种天然符号系统的利用，以及可能通往AGI的捷径）黑格尔认为，世界是在从一个极端走向另一个极端的过程中取得进步的，一般需要三次推动才能建立平衡。人工智能的发展似乎正是如此，我们经历了两次从一个极端走向另一个极端的过程：从连接主义到符号主义，再从符号主义到高级连接主义。因此，钟摆必须再往回摆一次，但不是摆回我们所熟知的符号主义，而是摆回具有两个世界最佳部分的东西。不是简单地将它们结合起来，而是通过论题和反题到综合，进入一个全新的层次。（笔者注：可能当前有很多人认为这里的第三次推动是人工智能的行为主义Behaviorism-以meta AI的首席科学家Yann LeCun的world model为代表）从以往人工智能范式转变的动态中，我们可以看到一些模式，这有助于猜测下一次范式转变。考虑到范式牵引力的一般衡量标准（出版物、人员、应用、资金、公众关注度等），并在图表中仅反映出差异，你可以看到以下内容（这只是一个粗略的估计，背后没有可靠的方法论）：
△
“人工智能 100 年：连接主义与符号主义及其他”所有阶段的持续时间都差不多。我们无法确定当前的阶段，但至少它目前没有偏离。
所有阶段都是缓慢开始，然后是快速增长，最后是快速衰减。同样，我们还不知道当前阶段的衰减情况，但至少我们已经看到的动态与之前的阶段相似。另外，请记住，这是关于差异的问题，衰减并不一定意味着绝对数量的减少。
我们没有足够的数据点来从这些观察中得出任何可靠的结论。但是，如果考虑一下内在的原因（硬件和基础设施的发展、相关人员和机构的惰性、实际应用领域的形成和行业采用、炒作周期等），它们看起来是非常合乎逻辑的。它与下一次（可能是最后一次）范式转变会有所不同吗？可能会有一些不同，这主要与缓慢阶段的持续时间有关：它必须更短。主要原因如下：硬件和基础设施已经足够好，无需等待专门的解决方案即可使用。
所有现有的数据公司都为快速采用下一代人工智能提供了一个巨大的平台。
投资者和政府已经受到教育，认识到这一转变将带来巨大机遇。
- 由于解决方案的普遍性（例如，计算机视觉和 NLP 领域之间不再分隔），技术堆栈的碎片化程度将大大降低，进展速度也将大大加快。
我们很难想象转型的前景会如何，但考虑到转型在不久的将来就会开始，我们可以肯定地说，十年后，这一阶段将处于指数级发展阶段。💡 “Neurons spike back-感应式机器的发明与人工智能的逆向发展”▩论文摘要 https://mazieres.gitlab.io/neurons-spike-back/NeuronsSpikeBack.pdf自 2010 年以来，基于机器学习的预测技术，更具体地说是深度学习神经网络，在 "人工智能" 这一总称下的图像识别或自动翻译领域取得了令人瞩目的成就。但它们与这一研究领域的渊源并不简单。在人工智能波澜壮阔的发展史上，使用所谓 连接主义 神经网络的学习技术长期受到 "符号" 运动的嘲弄和排斥。本文从符号主义方法与连接主义方法之间的紧张关系的角度，回溯了人工智能的历史。文章从科技社会史的角度，试图强调研究人员如何依靠海量数据的可用性和计算能力的倍增，通过重振控制论时代的自适应和归纳机器精神，重新制定符号人工智能项目。关键词：神经网络 人工智能 连接主义 专家系统 深度学习
💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1～v4范式迭代简介
AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代，是一种全新的尝试，基本是沿着：“从GPT现象·看Prompt本质·找创投应用方向“这样的路径，在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容：1*整体框架与范式路径：（human level）Intelligence as a Service整体框架，与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径：模型原生（models native）服务路径与卖铲子（shovels selling）服务路径3*智能发展路径：通用人工智能（AGI）发展路径、面向个人智能伴侣（PIA）发展路径以及硅基原生（Silicon Stack）智能发展路径
范式思维升级：v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化，研究对象从GPT现象上升到智能现象，同时纳入了和人类及其组织智能对等的硅基原生智能及其生态，甚至在具有某种自主意识的AI智能体“具生”范式里，考虑在world of bits的纯数字世界里，和人类无关的agent形态。对等智能体分别为Human Intelligence Species（含群体组织）与 Silicon Native Entities（含群体生态），区别为human是否in loop。因此对等智能体之间的价值交互可分为：四个GPT原生范式：及其对应的工程范式，版本迭代路径以及商业范式；并对每个原生范式的未来对应发展路径做了一一对应，具生范式是终极商业范式。▩炼丹(pre-training) (v1. AIGC) - tokens as a service [～AGI/ASI]
▩挖矿(prompting) (v1. AIGC) - prompts as a service [～GPT agents]
▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service [～in-devices&on-premises agents]
▩具生(agents) (v3&v4. Promptless) - agents as a service [～world of atoms&bits | human in loop & Silicon Native Entities]
△附：A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版说明：转发传播请注明出处，A𝕀²·ℙarad𝕚gm-Intelligence as a Service商业范式研究框架版权归AI范儿CPO所有。
△
“AI范儿的A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”
卡梅隆博士系列E01S01:提示工程-CoT思维链实现LLM推理
卡梅隆博士系列E02S01:提示工程-实用提示工程建议与技巧
卡梅隆博士系列E03S01:提示工程-高级提示工程超越few-shot
卡梅隆博士系列E04S01:提示工程-提示合奏使LLM更可靠
卡梅隆博士系列E01S02:开源LLM的历史-早期
卡梅隆博士系列E02S02:开源LLM的历史-更好的基础模型
卡梅隆博士系列E03S02:开源LLM的历史-化身与对齐
AGI甚至ASI-人类是在盗火还是玩火？
AI商业新范式“智能即服务”解读-A𝕀²·ℙarad𝕚g𝕞^v4
说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。
-Dialectic of AI: connectionism vs symbolism
https://medium.com/synthetic-intelligence/dialectic-of-ai-connectionism-vs-symbolism-d8b9888d4268-Neurons spike back
https://mazieres.gitlab.io/neurons-spike-back/index.htm
那些prompt了我的，
是否也prompt了你...